Weights Penalty |
| It is possible that the weights of an artificial neural network tend to be large producing overfitting. Therefore, it is convenient to introduce a weight penalty to promote small weights. Typically, the bias weight is not included in the weight penalty. The figure below shows how to compute the weight penalty. Es posible que los pesos de una red neuronal artificial tiendan a ser grandes produciendo sobre-ajuste. Por lo tanto, es conveniente introducir una penalidad de pesos para promover los pesos pequeños. Típicamente, el peso de polarización no se incluye en la penalidad de los pesos. La figura de abajo muestra cómo calcular la penalidad de los pesos. |
| Problem 1 |
| Compute the weight penalty of the layer shown below. Calcule la penalidad de los pesos de la capa mostrada debajo. |
| Tip |
| Some training algorithms require the derivative of the error with respect the weights of the network. The derivative of the weight penalty can be easily computed using the equation below. Algunos algoritmos de entrenamiento requieren la derivada del error con respecto a los pesos de la red. La derivada de la penalidad de los pesos pueden ser fácilmente calculada usando la ecuación de abajo. |
| Problem 2 |
| Download a research paper about the weight penalty in the context of deep learning. Write a 300 words summary to describe the motivation and the obtained results. Do not forget to include the title of the paper, the names of the authors, the journal name and the year of publication. Descargue un artículo de investigación sobre la penalidad en los pesos en el contexto de aprendizaje profundo. Escriba un resumen de 300 palabras para describir la aplicación, la estructura de la red y los resultados obtenidos. No se olvide de incluir el título del artículo, los nombres de los autores, el nombre de la revista y el año de publicación. |